Наносемантика NLab Marker

Основные статьи:

• Разметка данных (data labeling)
• Машинное обучение (Machine Learning)
• Большие данные (Big Data)
• Управление данными (Data management)

NLab Marker – это промышленная платформа, готовая к внедрению и эксплуатации на задачах с большими объемами данных, которые нуждаются в специальной ручной обработке: разметке и подготовке специалистами обучающих примеров для алгоритмов машинного обучения. NLab Marker позволяет выделять объекты на видео, расшифровывать аудиозаписи, размечать медицинские снимки. Сервис максимально сокращает время работы специалистов по подготовке данных (разметчиков) и количество ошибок при формировании набора обучающих данных (датасета).

2023: Ускорение процесса разметки данных при работе с изображениями

Компания «Наносемантика» 9 ноября 2023 года представила обновленный сервис для разметки данных «Маркер», который используется как инструмент подготовки датасетов для машинного обучения и создания на их основе нейросетей.

Основные изменения коснулись интерфейса платформы. Теперь у «Маркера» есть англоязычная версия, а также платформа дает более широкие возможности визуализации размеченных данных, что делает работу специалистов нагляднее и удобнее. Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.3 т

Новые функции появились у технологии Active Learning, ускоряющей работу разметчика за счет параллельного обучения, — встроенная в «Маркер» нейросеть «наблюдает» за действиями асессера, после чего начинает самостоятельно «видеть» нужные данные. Добавлены инструменты, которые позволяют достичь более высокой скорости разметки данных при работе с изображениями — Magic Wand и One-Shot. Magic Wand автоматически выделяет объект и минимизирует необходимость ручной корректировки. One-Shot позволяет выбрать нужный объект на эталонном примере, после чего нейросеть начнет самостоятельно находить аналогичные объекты на других изображениях.

По словам разработчиков, «Маркер» позволяет настраивать инструмент максимально тонко, что помогает сервису «узнавать» совсем небольшие детали в материалах. Новые алгоритмы в разы экономят время разметчиков, сокращая стандартный процесс с 2 минут до 0,5 секунды.

Другим важным обновлением стала поддержка платформой формата данных dicom. Он используется в медицинских сканированиях. Новый интерфейс позволяет перемещаться по срезам изображения и использовать «Маркер» для «умных» решений в медицине. ​​

В плане работы с аудиоданными в «Маркер» интегрировали нейросетевую модель для автоматической транскрибации голоса в текст, что экономит время разметчиков, которые могут брать в работу уже почти готовый текст, а не расшифровывать его полностью с нуля. Такие инструменты, как нарезка аудиозаписи на нужные фрагменты и устранение шумов, делают процесс разметки еще более удобным, а результат — более качественным.

Команда «Наносемантики» также оптимизировала логику управления проектами в «Маркере»: теперь задания можно группировать в коллекции, что значительно облегчает процесс распределения задач между разметчиками. Специалисты могут видеть все этапы выполнения работы и сразу отмечать моменты, требующие корректировки.

В будущем разработчики планируют внедрить расширенную статистику для отображения выполненных специалистами заданий. Это позволит детально оценить эффективность каждого сотрудника и оптимизировать управление рабочими процессами.

«`Наносемантика` создала платформу `Маркер`, чтобы облегчить клиентам важный и дорогостоящий этап создания нейросетей — разметку данных. На собственном опыте мы поняли, что от качества датасета зависит конечный продукт, будь то привычный чат-бот или продвинутый цифровой двойник. Самые продвинутые языковые модели требуют привлечения тысяч профессиональных разметчиков, что съедает львиную долю бюджета проекта и повышает планку доступа к технологиям искусственного интеллекта. Частичная автоматизация процесса разметки данных за счет технологии активного обучения нейросети `Маркера` снижает расходы на асессеров многократно. А более удобный функционал для контроля за проделанной работой делает итоговый результат заметно качественнее», – рассказал Станислав Ашманов, генеральный директор «Наносемантики».

2020: Запуск сервиса NLab Marker

Компания «Наносемантика», разработчик технологий искусственного интеллекта (ИИ) и резидент Кластера информационных технологий Фонда «Сколково», запустила сервис NLab Marker. С его помощью данные преобразуются в информацию, понятную нейронным сетям. Об этом Фонд «Сколково» сообщил 8 сентября 2020 года.

Станислав Ашманов, генеральный директор компании «Наносемантика»:

Машинное обучение невозможно без обучающих данных – примеров, по которым алгоритмы учатся. Мы, как разработчики алгоритмов ИИ, знаем, насколько важны качественно размеченные данные. Наша команда разработала платформу NLab Marker для себя. Но теперь мы готовы предложить этот продукт рынку, так как видим спрос на промышленные платформы разметки данных, которые позволяют гибко реализовывать любые задачи по разметке и самостоятельно администрировать этот процесс компаниям с сильным отделом Data Science.

Ошибки в датасете критически влияют на качество обучения нейронной сети. Например, обученная нейросеть для видеоаналитики будет пропускать брак на производственной линии или неверно переносить персональные данные из заполненной анкеты в МФЦ. В NLab Marker внедрена система автоматической проверки работы разметчиков на примерах-ловушках (ханипотах). Также контролируются время и объём выполненных заданий. Кроме того, в NLab Marker встроены различные модули для работы с текстом и аудио. Например, модуль для дикторов позволяет им записывать аудио для синтеза речи, а модуль категоризации дает возможность присвоить категорию определенному тексту.

В отличие от аналогов, NLab Marker гарантирует высокую точность подготовки данных, контроль качества на всех этапах процесса разметки и защиту персональных данных, поскольку платформу можно развернуть в защищенном контуре заказчика. Также NLab Marker позволяет вычистить из готового датасета персональные данные, чтобы они не попали в открытый доступ.

Павел Кривозубов, руководитель направления «Робототехника и искусственный интеллект» Фонда «Сколково»:

В NLab Marker разработана удобная система для организации и управления командой разметки: куратор распределяет задачи и инструкции по руководителям проектов или исполнителям, а также устанавливает индивидуальные сроки выполнения задач под конкретный проект. Это экономит временные и денежные ресурсы компании. Сервис позволяет работать жителям самых отдалённых регионов, безработным, людям с ограниченными возможностями. Не важно, в какой точке мира находится разметчик, главное, чтобы у него был компьютер и доступ в интернет. Это особенно актуально, ведь в тренде удаленная работа с гибким графиком без привязки к рабочему месту.